Tạ Huyền là cháu của tể tướng Tạ An nhà Đông Tấn, cha ông là An tây tư mã Tạ Dịch làm quan dưới trướng Hoàn Ôn, chị gái ông là Tạ Đạo Uẩn nổi tiếng thơ văn. Từ thuở nhỏ ông đã tỏ ra là người thông minh.

Thời Đông Tấn, nhà Tấn suy yếu phải rút về Giang Nam, miền bắc Trung Quốc bị các nước Ngũ Hồ chiếm đóng.

Khi trưởng thành, Tạ Huyền tỏ ra là người có chí lớn. Dù được nhiều nơi chiêu dụng nhưng cuối cùng ông nhận phục vụ dưới trướng đại tướng Hoàn Ôn. Sau đó, ông được làm tư mã dưới quyền tướng Hoàn Hoát (cùng họ và dưới quyền Hoàn Ôn) tại Nam Quận, chuyên trách phòng biên cương phía bắc.